บริเวณที่ตั้งวัดมีภูเขา ซึ่งมีถ้ำใหญ่น้อย ถ้ำที่สำคัญ ได้แก่ ถ้ำใหญ่ ถ้ำแจ้ง ถ้ำมืด และถ้ำแก้ว เป็นแหล่งโบราณคดีที่ใช้เป็นที่พักอาศัยชั่วคราวของกลุ่มชนก่อนประวัติศาสตร์ สมัยหินใหม่ในสังคมเกษตรกรรม พบโบราณวัตถุมากมายภายในถ้ำ มีอายุราว 3,000-4,000 ปี มาแล้ว[3] เช่น ภาชนะดินเผาและเศษภาชนะดินเผา เนื้อหยาบเผาด้วยอุณหภูมิต่ำ มีทั้งผิวเรียบและตกแต่งผิวด้วยลายขูดขีดและลายเรขาคณิต ขวานหินขัด ชนิดมีบ่าและไม่มีบ่า ทำจากหินฟลิ้นท์แจสเปอร์ คาลซิโดนี และหินทราย กำไล ทำจากเปลือกหอย หินทุบเลือกไม้ และลูกปัดสีส้ม ทำจากหินคาร์นีเลียน เปลือกหอยชนิดต่าง ๆ ได้แก่ หอยกาบ หอยแครง หอยน้ำพริก หอยกระดุมจุด หอยหลักควายและหอยติบ